Ban đầu, tại Montparnasse có ba trang trại lớn. Đến thế kỷ 17 thì khu đất này trở thành khu lăng mộ riêng của các tu sĩ thuộc dòng tu Saint-Jean-de-Dieu. Từ đầu thế kỉ 19, một loạt nghĩa trang mới đã được thành lập tại ngoại vi Paris, đó là Nghĩa trang Montmartre ở phía bắc, Nghĩa trang Passy ở phía tây và Nghĩa trang Père-Lachaise ở phía đông. Tỉnh trưởng tỉnh (préfecture) Seine là Nicolas Frochot đã mua lại khu đất của các tu sĩ ở Montparnasse để mở nghĩa trang thứ 4 ở phía Đông Paris. Lễ chôn cất đầu tiên ở đây là vào ngày 25 tháng 7 năm 1824. Bên trong nghĩa trang vẫn còn giữ được một trong rất nhiều cối xay bột của quận Montsouris và Montparnasse trước kia.

Hiện nay, với diện tích 19 ha, đứng thứ hai trong các nghĩa trang của Paris sau Père Lachaise, nghĩa trang Montparnasse là một trong những không gia xanh quan trọng của thành phố. Người ta đã thống kê có khoảng 1.200 cây chủ yếu gồm: cây đoạn, cây hòe, trắc bách diệp, phong, cây tần bì và thông.